Thân phụ ông là Đỗ Nhân[4] (杜絪, 1466-1518), tự Đôn Chính (敦政) hiệu Nghĩa Sơn (義山). Ông đỗ đệ nhị giáp tiến sĩ xuất thân, khoa Quý Sửu niên hiệu Hồng Đức thứ 24 (1493) đời vua Lê Thánh Tông. Ông giữ các chức quan, như Thượng thư Bộ Hộ kiêm Đô Ngự sử, Đông các Đại học sĩ, Nhập thị Kinh diên, ông đổi tên là Đỗ Nhạc (杜岳) và được cử đi sứ. Ông bị Mạc Đăng Dung sai Đinh Mông chém chết. Sau thời Lê Trung hưng ông được tặng Thiếu bảo, tước Văn Trinh bá[5].
Em trai ông là Đỗ Tấn (杜縉, 1514-?) đỗ đệ tam giáp đồng tiến sĩ xuất thân khoa Ất Mùi năm Đại Chính thứ 6 (1535) thời Mạc Thái Tông. Ông làm quan đến chức Thượng thư, kiêm Đông các Đại học sĩ, tước Trà Quận công. Sau bị tử trận, được tặng tước Quốc công[4].
Con trai ông là Đỗ Trực (杜直, 1537-1625(18/8/1625))[4]. Đệ nhị giáp Tiến sĩ xuất thân khoa Canh Thìn niên hiệu Diên Thành thứ 3 (1580) đời Mạc Mậu Hợp. Ông làm quan đến chức Hiến sát sứ. Sau ông theo giúp nhà Lê làm Đông các Đại học sĩ. Ông mở mang và khai phá một vùng đất mới nay là thôn Đại Vy xã Đại Đồng huyện Tiên Du tỉnh Bắc Ninh. Hiện ông vẫn được thờ tại đây và dòng họ của ông liên tục phát triển ngày càng lớn mạnh [6].
